#Teacher-Student Distillation

ConnectionMind: Leveraging Social Networks and Large Language Models for Personalized Recommendation at Meta

ConnectionMind：社交图谱路径推理驱动的LLM推荐框架

🧭 社交推荐 · 图路径推理 · LLM策略 ★ 深度解读

Michigan State University · Meta Platforms, Inc.

将社交推荐形式化为异构图上的路径探索，LLM策略选择性发现证据路径，在Meta线上提升观看时长0.43%

📌 工作参考价值（4 点）

异构社交关系显式建模：将用户、物品、创作者、群组等纳入统一异构图，定义多种关系类型，把推荐转化为路径发现。电商可引入用户-好友、店铺关注、购物群等关系，生成可解释的推荐路径。
SFT+RL两阶段训练范式：SFT用历史最短路径做行为克隆，RL采用规则化奖励（格式、F1、路径shaping）优化全局推荐质量。该奖励设计（尤其用子图内可达正样本的F1作为奖励）可直接用于需要序列决策的推荐场景。
Teacher–Student混合推理架构：高活用户用LLM直接推理，普通用户通过知识蒸馏到轻量GNN，兼顾推理能力与毫秒级延迟。对于需要大模型推理但性能受限的场景极具参考价值。
多模态→紧凑文本的预处理流：视频经OCR、ASR、VidLLM转换为文本摘要，供LLM高效处理。类似流程可用于商品的多模态信息（描述、图片、视频）的文本化，降低LLM推理成本。

RecSys | 2026-08-10 | cs.IR | score 10/10

通过隐含意图生成提升电商搜索物品可发现性

🧭 搜索 · 意图生成 · 发现增强 ★ 深度解读

Instacart

用 LLM 生成替代/补充/主题意图扩展召回，通过两阶段架构在头部用闭源模型缓存、尾部用蒸馏 SLM 覆盖，将流量覆盖率从 60% 提升至 80% 且成本仅 30%

📌 工作参考价值（4 点）

意图驱动的召回扩展：定义替代、补充、主题三类隐含意图，用 LLM 生成“轮播标题 + 意图词列表”来扩大候选池，可直接改造搜索底纹中的“发现式”模块，解决精确匹配造成的长尾冷启动曝光不足。
两阶段成本与覆盖权衡：头条查询离线缓存闭源 LLM（GPT-3.5 Turbo）结果，长尾查询在线用 LoRA 微调的 30B SLM 推理，使用 teacher-student 蒸馏，最终以约 30% 推理成本达到 80% 流量覆盖，特别适合类目众多、长尾严重的电商搜索。
评估体系设计：构建 session 级共购数据集评估端到端召回，排除完全匹配和 top-10 商品，提取用户未被当前检索满足的隐性需求信号；同时用 LLM-as-judge 衡量生成标题和意图的相关性、多样性、新颖性，并通过人工验证，可作为业务中评估类似生成任务的标准范式。
蒸馏工程细节：教师模型在蒸馏时使用了丰富的上下文元数据（品牌、属性、历史购买），为避免学生模型在线上缺少这些特征时质量下降，蒸馏数据中混入部分剥离元数据的样本，训练学生不依赖额外 payload；另外将生成与检索解耦，LLM 不进入在线热点路径，便于缓存、降级和 AB 部署。

QueryRec | 2026-07-29 | cs.IR | score 10/10